Bayesian Optimization

定义 Definition

贝叶斯优化：一种用于优化代价高、不可导或黑箱函数的策略。它用概率模型（常见为高斯过程）来近似目标函数，并通过“采集函数”（如 EI、UCB、PI）在探索与利用之间权衡，以较少的评估次数找到更优解。常用于机器学习超参数调优、实验设计与自动化科学实验等。

发音 Pronunciation

/ˈbeɪziən ˌɑːptɪmaɪˈzeɪʃən/

例句 Examples

Bayesian optimization can tune model hyperparameters with fewer trials.
贝叶斯优化可以用更少的试验次数来调模型的超参数。

In expensive robotics experiments, Bayesian optimization uses a probabilistic surrogate model to decide which setting to test next.
在代价高昂的机器人实验中，贝叶斯优化会用概率“代理模型”来决定下一步该测试哪个参数设置。

词源 Etymology

“Bayesian” 来自 Thomas Bayes（托马斯·贝叶斯）的名字，指基于贝叶斯推断的概率方法；“optimization” 源自拉丁语 optimus（最好的），意为“寻优/最优化”。合起来表示：用贝叶斯概率建模与推断来指导寻优的一类方法。

相关词 Related Words

• Bayesian
• Optimization
• Gaussian Process
• Surrogate Model
• Acquisition Function
• Expected Improvement
• Upper Confidence Bound
• Hyperparameter Tuning

文学与名著用例 Literary Works

• Rasmussen, C. E., & Williams, C. K. I. Gaussian Processes for Machine Learning（《高斯过程：机器学习》, 2006）——讨论高斯过程并常作为贝叶斯优化的核心建模基础被引用。
• Snoek, J., Larochelle, H., & Adams, R. P. Practical Bayesian Optimization of Machine Learning Algorithms（2012）——机器学习超参数调优中贝叶斯优化的经典论文。
• Shahriari, B., Swersky, K., Wang, Z., Adams, R. P., & de Freitas, N. Taking the Human Out of the Loop: A Review of Bayesian Optimization（2016）——贝叶斯优化综述文章，系统介绍方法与应用场景。